使用MCP前请确保已将 HUSKYLENS 2 的固件更新至最新版本。固件更新教程请参考: 点击查看
使用MCP前,必须为HUSKYLENS 2 插入WiFi配件并连接WiFi,如何连接请查看上文 系统设置 - WiFi 部分
HUSKYLENS 2 支持 2024-11-05 版本的 MCP 协议。
滑动屏幕找到 MCP服务,点击进入,打开开关,开关打开后会显示一个URL http://192.168.xx.xx:3000/sse用于给客户端连接。
1. 获取大模型API KEY
此处以 火山引擎 火山方舟 Doubao为例,注册并打开 火山方舟
找到开通管理 - Doubao-Seed-1.6-vision - 开通服务,默认有500,000 tokens免费额度。
打开 API Key管理,创建API Key
点击API Key后的小眼睛,记录此API Key
2. 配置Cherry Studio
-
下载安装并打开Cherry Studio
[下载链接](https://www.cherry-ai.com/download) -
Cherry Studio默认有两种布局,教程中全部使用如下布局,找到
设置 - 显示设置,导航栏位置设置为左侧
- 找到
模型服务,搜索框中输入火山引擎,在最右侧将开关打开
- 将上一步获取的API Key填入
API 密钥, API地址为https://ark.cn-beijing.volces.com/api/v3/
- 下滑到当前页面最后放,点击
添加
- 模型ID 填
doubao-seed-1-6-vision-250815,点击添加模型
模型ID可能会更新,获取位置如下
- 回到当前页面最上方,点击
检测菜单中找到并选择doubao-seed-1-6-vision.
- 点击确认,等待检测通过,如果检测不通过请检查 API 密钥 和 API 地址
- 进入
MCP设置,点击添加 - 快速创建
- 名称可以随便填写,URL为HUSKYLENS 2屏幕中显示的URL(MCP教程部分最开头位置),点击保存。
- 确保HUSKYLENS 2 和 电脑连接了同一个WiFi,然后点击开启。开启成功后,会看到工具的位置已经有了4个工具,如果工具位置没有显示工具则说明启动失败,检查网络并确定HUSKYLENS 2开启了MCP服务后,重启Cherry Studio和HUSKYLENS 2
12.回到聊天界面,点击模型选择位置
- 搜索
doubao-seed-1-6-vision, 并选择
- 聊天框下方找到小锤子的图标,选中HUSKYLENS 2的工具
- 接下来就可以正常聊天与二哈互动了
3. 二哈识图 2 MCP工具说明
3.1 模型管理
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 1 | 查询模型列表 | 获取 HUSKYLENS 2 中可用的内置模型及已安装的自训练模型列表 | 无需提供其他信息。可在不知道模型名称或切换模型前使用 | 查看设备中有哪些可用的模型 |
| 2 | 切换模型 | 切换到指定的内置模型或已安装的自训练模型 | 必须说明要切换到的目标模型。如不确定名称,可先使用“查询模型列表” | 切换到人脸识别 |
| 3 | 查询当前模型 | 查询 HUSKYLENS 2 当前正在运行的模型 | 无需提供其他信息 | 当前正在运行什么模型 |
| 4 | 同时运行多个模型 | 在设备上同时加载并运行多个模型 | 必须指定 2 个或 3 个要同时运行的模型。必须设置对应的算力比例,否则模型将不会识别目标 | 同时运行人脸识别和物体识别 |
3.2 多媒体
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 5 | 拍照 | 使用 HUSKYLENS 2 拍摄照片 | 可指定分辨率:1920x1080、1280x720 或 640x480;不指定时默认使用 1280x720 |
拍一张照片 |
| 6 | 截屏 | 截取 HUSKYLENS 2 当前屏幕画面 | 无需提供其他信息 | 截取当前屏幕 |
| 7 | 播放音乐* | 播放设备中的 MP3 音频文件 | 必须说明要播放的文件名。播放音量可选,范围为 0~100,默认值为 100。这里设置的是多媒体播放音量,不会修改设备的系统音量 | 播放welcome.mp3,音量设为 80 |
| 8 | 开始录音* | 开始录制音频,并保存为 MP3 文件 | 必须说明录音时长(秒)。可指定文件名,不指定时自动生成文件名 | 录制10 秒音频,保存为meeting.mp3 |
| 9 | 停止录音* | 提前停止当前正在进行的录音 | 无需提供其他信息,应在开始录音后使用 | 停止录音 |
3.3 识别与学习
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 10 | 获取识别结果 | 获取当前模型的实时识别结果,包括图像数据、目标位置和识别标签 | 当前需要有模型在运行 | 你看到了什么 |
| 11 | 遗忘已学习 ID | 遗忘当前或指定模型已经学习的 ID | 可指定要遗忘已学习 ID 的模型;未指定时,默认遗忘当前运行模型中已学习的 ID | 遗忘已学习的 ID |
| 12 | 学习指定对象 | 让模型学习画面中的目标对象 | 可通过上下、左右等方位描述目标的大致位置 | 学习画面中的人脸。 学习画面中 最左边的人 |
| 13 | 为对象命名 | 为已经学习的对象设置名称 | 必须说明对象 ID 和名称 | 将ID 1的人脸命名为小明 |
3.4 自动任务
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 14 | 创建自动任务* | 创建满足指定条件时自动执行的任务 | 必须同时说明触发条件和触发后执行的操作 | 看到小明时,执行拍照 |
3.5 屏幕绘制
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 15 | 绘制文字* | 在 HUSKYLENS 2 屏幕的指定位置绘制文字 | 文字内容为必填项;坐标、字号和颜色可按需指定。支持的字号为 20、24、26、27、28、32、36、40、48 | 在屏幕左上角写欢迎使用 |
| 16 | 绘制矩形* | 在屏幕指定位置绘制矩形框 | 可按需指定坐标、宽度、高度、线宽和颜色 | 在坐标(40, 40)处绘制一个宽 200、高 120的矩形框 |
| 17 | 绘制唯一矩形* | 在屏幕上绘制唯一矩形框 | 可按需指定坐标、宽度、高度、线宽和颜色,适合只保留一个突出显示框的场景 | 绘制唯一矩形框:坐标(40, 40),大小200×120,线宽 4 |
| 18 | 清除文字* | 清除屏幕上通过绘制功能添加的全部文字 | 无需提供其他信息 | 清除屏幕上绘制的所有文字 |
| 19 | 清除矩形* | 清除屏幕上通过绘制功能添加的全部矩形框 | 无需提供其他信息 | 清除屏幕上绘制的所有矩形框 |
3.6 知识库
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 20 | 导出模型 | 将指定模型的当前配置和已学习内容导出到知识库 | 必须说明模型和目标知识库编号 | 将人脸识别的当前配置保存到知识库 1 |
| 21 | 导入模型 | 从知识库导入模型配置,并加载到当前工作区 | 必须说明要加载的知识库编号 | 加载知识库 1 |
3.7 多模型运行
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 22 | 同时运行多个模型 | 在设备上同时加载并运行多个模型 | 必须指定 2 个或 3 个要同时运行的模型。必须设置对应的算力比例,否则模型将不会识别目标 | 同时运行人脸识别和物体识别,并将两个模型的算力比例设置为1:2 |
3.8 模型参数
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 23 | 查看模型参数 | 获取指定模型当前可用的参数及参数值 | 可指定要查看的模型;未指定时,默认查看当前模型。建议在修改参数前先使用此功能 | 查看当前模型的参数 |
| 24 | 设置模型参数 | 修改指定模型的参数 | 必须说明要修改的参数和值;目标模型可选,未指定时默认修改当前模型。参数名称和值类型应以“查看模型参数”的结果为准 | 把人脸识别的识别阈值设置为 0.5、检测阈值设置为 0.6,并打开多人脸加速 |
3.9 设备控制
| 序号 | 工具名称 | 功能说明 | 使用说明 | 使用示例 |
|---|---|---|---|---|
| 25 | 设置屏幕亮度 | 调整设备屏幕背光亮度 | 必须说明亮度值,范围为 0~100 | 将屏幕亮度设置为70 |
| 26 | 查看屏幕亮度 | 获取设备当前的屏幕背光亮度 | 无需提供其他信息 | 当前屏幕亮度是多少 |
| 27 | 设置系统音量 | 调整设备的系统音量 | 必须说明音量值,范围为 0~100,并且只能使用 10 的倍数 | 将系统音量设置为60 |
| 28 | 查看系统音量 | 获取设备当前的系统音量 | 无需提供其他信息 | 当前系统音量是多少 |
| 29 | 设置补光灯亮度 | 调整设备补光灯的亮度 | 必须说明亮度值,范围为 0~100 | 将补光灯亮度设置为80 |
| 30 | 查看补光灯状态 | 获取补光灯当前的亮度和开关状态 | 无需提供其他信息 | 查看补光灯当前的亮度和开关状态 |
* 星号标记的工具,在小智 AI 中禁用